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Wit dem Verfahren werden Gefahrenraume so uberwacht, 
% in den Gefahrenraum eintretende Objekte detektiert. 
.^Kalisiert und gegebenenfafls in Form und GroBe abge- 
schatzt werden konnen. Hierzu werden in der Uberwa- 
chungsphase die Bilder von mindestens zwei. den zu 
uberwachenden Raumbereich beobachtenden. elektroni- 
schen Bildaufnehmern laufend aufgenommen, in eine rech- 
nerverarbeitbare Form uberfuhrt und rechnergestutzt ausge- 
wertet. Voraussetzung fur das Verfahren ist. daS die betei- 
ligten Bildaufnehmer auf ein gemeinsames Weltkoordina- 
tensystem kalibriert sind. so daft fur jeden Bildaufnehmer zu 
einem vorgegebenen Raumpunkt die Bildpunktkoordinaten 
seiner Projektion angegeben werden konnen. Grundsatzlich 
arbeitet das Verfahren nach dem Prinzip gekreuzter Ucht- 
schranken. In der Einrichtphase des Verfahrens werden die 
Kreuzungspunkte ( Oberwachung sraumpunkte) benutzersei- 
tig vorgegeben und in die Bildkoordinaten ihrer Projektion 
fur den jeweiligen Bildaufnehmer (Oberwachungsbildpunk- 
te) umgerechnet. In der Oberwachungsphase werden die 
Uberwachungsbildpunkte auf Veranderungen uberpruft. Er- 
scheinen alle Uberwachungsbildpunkte eines Oberwa- 
chungsraumpunktes als verandert, so ist mit groBer Wahr- 
scheinlichkeit dieser Raumpunkt belegt. Die Dichte der 
Uberwachungsraumpunkte kann an die erwartete Objektgrd- 
Se angepa&t werden. 
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Beschreibung 



Technisches Gebiei 

5 

Die Erfindung betrifft ein Verfahren zur Oberwachung von Gefahrenraumen. Sicherheitszonen oder poten- 
tiellen Kollisionsbereichen (Oberwachungsraum). Hierzu werden im Betriebszustand die Bilder von mindestens 
zwei.den Oberwachungsraum beobachtenden Bildaufnehmern laufend aufgenommen, in eine rechnerverarbeit- 
bare Form gebracht und mit den Bildern verglichen, die den Grundzustand des Oberwachungsraumes aus der 
io Sichi der jeweiligen Bildaufnehmer zeigen. Aus dem Ergebnis des Vcrglekhes wird auf Belegungsveranderun- 
gen des Gefahrenraumes, den On der Veranderung sowie. in einer Ausgestaltung des Verfahrens, auf die grobe 
Form und GroBe des verandernden Objektes geschlossen. 

Zugrundeliegender Stand der Technik 

15 

Verfahren zur Detektion und Lokalisierung von raumlichen Belegungsveranderungen in Gefahrenraumen auf 
der Basis von elektronischen Bildaufnehmern, wie etwa Videokameras, sind bereiis mehrfach bekannt In DE-OS 
38 25 757 sind beispielsweise Verfahren und Vorrichtungen beschrieben, mit deren Hilfe uber Linsen und Spiegel 
mehrere Raumbereiche auf einer einzigen lichiempfindlichen Einrichtung abgebildet werden, die nach der 

20 Methode des laufenden Bildvergleiches auf Veranderungen uberwacht werden. In vielen Anwendungsfallen sind 
die Verwendungsmoglichkeiten solcher Oberwachungseinrichtungen dadurch beschrankt, daB lediglich die 
durch das zwischen Kamera und Hintergrund tretende Objekt verursachte Grauwert-, Farb- oder Strukturande- 
rung von der Kamera detektiert wird Diese Verfahren stellen damit eine Erweiterung des Lichtschranken- oder 
Reflexlichtschrankenprinzips dar. Die Position der Eintrittsstelle des Objektes laBt sich mit diesen Verfahren 

25 nicht angeben. 

Eine raumliche Lokalisierung laBt sich hingegen durch die Verwendung von zwei oder mehr Bildaufnehmern 
in Verbindung mit photogrammetrischen Auswerteverfahren erzielen. Durch /CHEN88/, /SRIV90/. /POTM85/ 
und /MART83/ sind Verfahren bekannt, bei denen die aus verschiedenen Ansichten mit Hilfe von {Cameras 
aufgenommenen Silhouetten eines Objektes rechnerisch und unter Berucksichtigung der photogrammetrischen 

30 Abbildungseigenschaften der Kameras in den Raum ruckprojiziert werden. Das von alien Silhouettenprojek- 
tionskegeln eingeschlossene Schnittvolumen gibt den On und die angenahene Form des Objektes wieder. 
Nachteilig auf die Verwendungsmoglichkeit als Schutz- und Sicherheitseinrichtung wirkt sich bei diesen Verfah- 
ren der hohe Rechenaufwand fur die Bildauswenung und fur die rechnerische Ruckprojektion aus. 
Andere photogrammetrische Verfahren vermessen mit Hilfe des Triangulationsverfahrens die Position von 

35 Oberflachenpunkten und gewinnen aus einer groflen Zahl vermessener Oberflachenpunkte die Form und 
Position des Objektes. Das zentrale Problem dieser Verfahren ist es, in den Bildern der Bildaufnehmer genau die 
Bildpunkte zu finden und einander zuzuordnen, die denselben Oberflachenpunkt darstellen (Korrespondenzpro- 
blem). Dieses Problem kann durch zusatzlich in den Raum projizienes Strukturlicht vereinfacht werden. Bei 
diesen an sich sehr genauen Verfahren wirkt sich jedoch der hohe Rechenaufwand zur Losung des Korrespon- 

40 denzproblems und zur Berechnung der Raumposiiionen mit Hilfe der Triangulation auf die Verwendungsmog- 
lichkeiten als Schutz* und Sicherheitseinrichtung sehr nachteilig aus. 

Offenbarung der Erfindung 

45 Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur automatischen Oberwachung von Gefahrenrau- 
men so auszubilden, daB in den Gefahrenraum eintretende Objekte detektiert, lokalisiert und gegebenenfalls in 
GroBe und Form abgeschatzt werden konnen, bei gleichzeitig kurzen Auswertungszeiten. 
Diese Aufgaben werden durch die im Hauptanspruch aufgefuhrten Merkmale geldst 

Durch die Kalibration der installierten Bildaufnehmer existiert ein mathematischer Zusammenhang, mit dem 
50 aus den Koordinaten eines Raumpunktes die Bildkoordinaten seiner Projektion auf der Bildebene eines Bildauf- 
nehmers berechnet werden konnen. Diese Kalibrationsverfahren sind an sich bekannt (z. B. /FOHR90/. 
/MEIS89/). Im Ausfuhrungsbeispiel wird ein einfaches Beispiel hierzu gegeben. Wichtig fur das Verfahren ist! 
daB alle Bildaufnehmer auf ein gemeinsames Raumkoordinatensystem kalibriert sind. 
Unter Ausnutzung des Kalibrationsergebnisses werden im ersten Verfahrensschritt, jedoch noch vor der 
55 Oberwachungsphase (Einrichtphase), die Koordinaten der zu uberwachenden Raumpunkte (Oberwachungs- 
raumpunkte) benutzerseits festgelegt und mit den Kalibrationsparametern in die Bildpunktkoordinaten der 
Bildaufnehmer (Gberwachungsbildpunkte) umgerechnet(s. Fig. \). ZweckmaBigerweise werden diese Bildkoor- 
dinatenwerte fur die Oberwachungsphase abgespeichert Die so aus einem Oberwachungsraumpunkt entstande- 
nen Gberwachungsbildpunkte werden im folgenden als "zum Oberwachungsraumpunkt korrespondierend" 
60 bezeichnet 

In der Oberwachungsphase werden die Oberwachungsraumpunkte nach dem Prinzip gekreuzter Lichtschran- 
ken uberwacht Der in der Oberwachungsphase durchgefuhrte Auswertevorgang wird zyklisch wiederholt 
Dazu werden zunachst die von den Bildaufnehmern aufgenommenen Bilder in eine rechnerverarbeitbare Form 
uberfuhrt Im AnschluB daran werden die zu einem Oberwachungsraumpunkt korrespondierenden Oberwa- 
65 chungsbildpunkte, ggf. unter Berucksichtigung ihrer Umgebung, auf Grauwert-, Struktur- oder Texturverande- 
rungen untersucht Hierzu wird auf an sich bekannte Methoden des Bildvergleiches zuruckgegriffen. In einer 
Ausgestalumg des Verfahrens dienen z. B.die von den Bildaufnehmern im Grundzustand des Oberwachungsrau- 
mes aufgenommenen Bilder als Vergleichsbilder. Eine Veranderung der Belegungssituation auf der Position 

2 
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eines Oberwachungsraumpunktes, z. B. die Anwesenheit eines im Grundzustand des Oberwachungsraumes 
nichi vorhandcnen Objektes auf dieser Position, wird L allg. zu cincr Vcranderung aller korrespondierendcn 
Oberwachungsbildpunkte fuhren. In einer Ausgestaltung des Verfahrens wird daher ein Oberwachungsraum- 
punkt dann als verandert angenommen, wenn alle korrespondierenden Oberwachungsbildpunkte als verandert 
erkannt wurden. Fig. 3 verdeutlicht dieses Prinzip. 

Aus der Ta tsache. daQ bei der Oberprufung der Oberwachungsraumpunkte nur auf bekannte Bildkoordinaten 
zugegriffen wird. folgi eine hohe Auswertegeschwindigkeit Durch die Vorgabe der zu uberprufenden Raumpo- 
sitionen wird zudem das Korrespondenzproblem vermieden. 

Die raumliche Dichte der Oberwachungsraumpunkte kann an die GroBe der zu detektierenden Objekte 
angcpaQt werden. In einer Ausgestaltung des Verfahrens werden die Oberwachungsraumpunkte automatisch 
aus der Angabe des Oberwachungsraumbereiches und der gewunschten Punktdichte erzeugt Durch vier benut- 
zerseus vorgegebene Raumpunkte (Fig. 2: Punkte 5 bis 8) wird ein Spat aufgespannt, dessen Innenraum den 
Oberwachungsraum festlegt. Durch drei weitere Zahlenwerte (Fig. 2: dx, dy, dz) werden die Oberwachungs- 
punktabstande in Richtung der Spatvektoren festgelegt In einer weiteren Ausgestaltung dieses Prinzips werden 
die vier Raumpunkte, mit denen der Oberwachungsraum festgelegt wird, im Oberwachungsraum selbst mar- 
kiert Hierzu wird ein Markierungspunkt an die gewunschten Raumpositionen bewegt und mit Hilfe der 
kalibrierten Bildaufnehmer in an sich bekannter Weise photogrammetrisch durch Triangulation vermessen. 
Hierdurch wird die Fesilegung eines Oberwachungsbereiches einfach und sicher. In gleicher Weise werden auch 
einzelne Oberwachungspunkte markiert 

In einer Ausgestaltung des Verfahrens ist mindestens ein Teil der Bildaufnehmer farbselektiv, z. B. durch vor 
die Bildaufnehmer montierte Farbfilter. Weiter ist im Nahbereich eines jeden farbselektiven Bildaufnehmers 
ine Farblichtquelle mit einem nur fur den jeweiligen Bildaufnehmer durchlassigen Lichtspektrum. Auf diese 
<Veise wird der moglicherweise storende EinfluQ des Umgebungslichtes ausgeschaltet Die in manchen Fallen 
storende Schattenbildung wird durch die bildaufnehmemahe Anbringung der Farblichtqueilen erreicht, da 
hierdurch. vom jeweiligen Bildaufnehmer aus gesehen, der Schatten vom Objekt selbst weitgehend verdeckt 
wird. 

In einer alternativen Ausgestaltung dieses Prinzips wird die Belichtungszeit der Bildaufnehmer so gesteuert, 
daB zu einem Zeitpunkt jeweils nur ein Bildaufnehmer belichtet wird Im Nahbereich eines jeden Bildaufneh- 
mers ist jeweils eine schaitbare Lichtquelle, z. B. eine Blitzlichtquelle, die nur im Belichtungszeitraum des 
jeweiligen Bildaufnehmers eingeschaltet wird. Durch die Nahe der Lichtquellen zu den jeweiligen Bildaufneh- 
mern wird ebenfalls Schattenbildung weitgehend vermieden. Ist die Helligkeit der schaltbaren Lichtquellen 
gr6Ber als die des Umgebungslichtes, dann kann auch bei diesem Verf ahren der EinfluB des Umgebungslichtes 
unterdruckt werden. Durch die zusatzliche Verwendung farbsclektiver Bildaufnehmer und schaltbarer Licht- 
quellen mit einem fur die farbselektiven Bildaufnehmer gut sichtbaren Licht, wird die Unterdruckung des 
Umgebungslichtes weiter verbessert. 

Erlauterung der Zeichnungen 

Fig. 1 zeigt den Zusammenhang zwischen einem Oberwachungsraumpunkt und den korrespondierenden 
Oberwachungsbildpunkten, mit den Bezeichnungen 

Oberwachungsraumpunkt 
Xr j - (xr i, yr j, zrj\ 

Oberwachungsbildpunkte 

Xb l.i - (xb I, i.yb I, i,zb \,\\ 

Xbjl x - (xb"2. i,yb*2, i,zbj,i). 

Vereinfachend wurden die Bildkoordinatensysteme und Oberwachungsbildpunkte in die Projektionsebenen der 
Bildaufnehmer eingezeichnet 

Fig. 2 zeigt die Uberwachung eines spatformigen und mit Oberwachungsraumpunkten belegten Raumberei- 
ches mit Hilfe der drei Bildaufnehmer I bis 3 sowie dem rechnergestutzten Bildverarbeitungssystem 4. Die 
schwarz gekennzeichneten Oberwachungsraumpunkte 5 bis 8 spannen den Spat auf. 

Fig. 3 zeigt in einer vereinfachten zweidimensionalen Darstellung die raumliche Lokalisierung eines Storob- 
jektes 3 durch ein Feld von Oberwachungsraumpunkten 4, welches mit Hilfe der Bildaufnehmer 1 und 2 
uberwacht wird. Die schwarz ausgefullten Punkte kennzeichnen die als verandert erkannten Oberwachungs- 
raumpunkte. 

Ausfuhrungsbeispiel der Erfindung 

Fig. 2 zeigt einen zu uberwachenden Raumbereich, in dem drei als elektronische Bildaufnehmer dienende 
CCD-Kameras 1 bis 3 fest angebracht sind, deren Bilder von einem rechnerbasierten Bildverarbeitungssystem 4 
ausgewertet werdea 

Zur Beschreibung des Projektionsverhahens der Kameras wird im vorliegenden AusfQhrungsbeispiel ein 
einf aches lineares Kameramodell verwendet(z. B. /KRAU83/): 



xb = (hll -xr + hl2*yr + h!3 -zr + h14)/(h31 *xr + h32*yr + h33^zr +1), 
yb - (h2I • xr + h22 • yr + h23 • zr + h24) /(h31 • xr + h32 • yr + h33 • zr + 1) , 



DE 41 13 992 Al 



mil 

(xr.yr.zr) - Xr Raumpunktkoordinaten, 
(xb.yb)- Xb Bildpunktkoordinaten. 
(hll,..,h33) - H Abbildungsparameter. 

Die Kalibration dcr Kameras ist gleichbedeutend mit der Bestimmung der Abbildungsparameter H k (mit 
dem Kameraindex k, k - 1 . . . Kameraanzahl). Zur Kalibration wird z. B. ein mit Markierungspunkten versehe- 
nes Gestell in den Oberwachungsbereich gebracht wobei die Koordinaten der Markierungspunkte Xr p (mit 
dem Markierungspunktindex p, p - 1 . . . Anzahl der Markierungspunkte) bezuglich eines beliebigen Raumkoor- 
dinatensystems bekannt sein mussen. Aus den Bildern der Kameras werden die Bildkoordinaten Xb k, p der 
Projektionen der Markierungspunkte bestimmt Durch Einsetzen der Markierungspunktraumkoordinaten Xr p 
und der zugehorigen Bildkoordinaten Xbjc p von mindestens 6 Markierungspunkten in obige Gleichungen 
erhalt man fur jede Kamera k ein uberbestimmtes Gleichungssystem, welches mit Hilfe der Ausgleichsrechnung 
gelost wird. Damitsind die Abbildungsparameter (hlljc, hi 2 k,..„h33 k) - H k fur jede Kamera bekannt 

Zur Markierung des Oberwachungsbereiches wird eine M'eBmarkierung auf die vier Raumpositionen 5 bis 8 
gefuhrt und ihre Bildkoordinaten bezQglich mindestens zweier Kameras bestimmL Durch Umformung der 
obigen Gleichungen nach den Raum koordinaten werden die markierten Positionen 5 bis 8 durch Ausgleichs- 
rechnung errechnet Diese spannen im Raum einen Spat auf, der den Oberwachungsbereich beschreibt Zur 
Festlegung des Oberwachungsraumpunktrasters werden die Abstande der Oberwachungsraumpunkte in Rich- 
tung der Spatvektoren vorgegeben. Die so erzeugten Oberwachungsraumpunkte XrJ (i - I ... Anzahl der 
Oberwachungsraumpunkte) werden mit Hilfe der Abbildungsparameter H_k und den obigen Gleichungen in die 
Oberwachungsbildpunkt Xb k, i umgerechnet 

FOr den spateren BildvergTeich wird von jeder Kamera der Oberwachungsraum im Gnindzustand aufgenonv 
men. Aus diesen Bildern werden die Grauwerte G (Xbjc, i) auf den Bildkoordinaten der Oberwachungsbild- 
punkte Xbk, i ermittelt und abgespeichert 

In der zyklisch ablaufenden Uberwachungsphase wird von den Kameras der Oberwachungsraum aufgenom- 
men. Aus diesen Bildern werden die aktueilen Grauwerte B (Xbk, i) ermittelt AnschlieBend werden die Grau- 
werte G (Xbk, i) und B(Xb_k,i) nach einem geeigneten Vergleichsalgorithmus miteinander verglichen. Zum 
Beispiel kann ein Oberwachungsbildpunkt B (Xbk, i) als geandert angenommen werden, wenn die Dif ferenz 
zwischen G (Xbk, i) und B (Xbk, i) einen bestimnuen, vorgebbaren Betrag uberschreitet Ein Oberwachungs- 
raumpunkt i mifden Koordinaten Xr i wird dann als geandert angenommen, wenn die korrespondierenden 
Oberwachungsbildpunkte B (Xb_k, i) fur alie k (k - 1 . . . Kameraanzahl) geandert erscheinen. 
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Patentanspruche 

1. Verfahren zur automatischen Oberwachung von Gefahrenraumen mit dem Ziel, in den Gefahrenraum 
eintretende Objekte zu detektieren, lokalisieren und gegebenenfalls ihre GrdBe und Form naherungsweise 
zu bestimmen, mit den Verfahrensschritten: (a) laufendes Aufnehmen des Gefahrenraumes mit zwei oder 
mehr elektronischen Bildaufnehmern in der Uberwachungsphase, (b) Oberfuhren der aufgenommenen 
Bilder in eine rechnerverarbeitbare Form mit dem Ziel einer rechnergestQtzten Weiterverarbeitun^ (c) 
Vergleichen der von den Bildaufnehmern in der Oberwachungsphase aufgenommenen Bilder mit den 
Bildern, die den Gnindzustand des Raumes aus der Sicht des jewe. :|; $en Bildaufnehmers wiedergeben, 
daduxch gekennzekhnet, daB (d) die Bildaufnehmer auf ein gemeinsames Raumkoordinatensystem kali- 
briert sind,(e)die Oberwachungsraumpunkte in den Koordinaten des Raumkoordinatensystems festgelegt 
werdea (0 die Oberwachungsbildpunkte aus den Oberwachungsraumpunkten und den Kalibrationspara- 
metern bestimmt werden, (g) aus der Veranderung der zu einem Oberwachungsraumpunkt korrespondie- 

4 
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renden Oberwachungsbildpunkte auf die BelegungsvcrSnderung dieses Oberwachungsraumpunktes ge- 
schlossen wird. 

1 Verfahren nach Anspruch 1, dadurch gekennzeichnet, daQ der Verfahrensschritt (f) nur einmalig in der 
Einrichtphasedurchgefuhrt wird. 

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daC wahrend des Verfahrensschrittes (c) nur 
die zu einem Oberwachungsraumpunkt korrespondierenden Oberwachungsbildpunkte ggf. unter Beruck- 
sichtigung ihrer naheren Bildpunktumgebung, fur den Bildvergleich verwendet werdea 

4. Verfahren nach einem der Anspruche 1 bis 3, dadurch gekennzeichnet. daB ein Oberwachungsraumpunkt 
dann als geandert betrachtet wird, wenn alle seine korrespondierenden Oberwachungsbildpunkte als veran- 
dert erkannt wurden. 

5. Verfahren nach einem der Anspruche 1 bis 4, dadurch gekennzeichnet, daB die Oberwachungsraumpunk- 
te rechnergestutzt aus der Vorgabe eines zu uberwachenden Raumbereiches und der Dichte der Oberwa- 
chungsraumpunkte in diesem Raumbereich erzeugt werden. 

6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, daB Oberwachungspunkte oder der zu uberwa- 
chende Raumbereich im Raum selbst markiert wird, wobei eine MeBmarkierung, die auf die Oberwa- 
chungspunkte oder Kennpunkte des Oberwachungsraumes gefuhrt wird, mit Hilfe der kalibrierten Bildauf- 
nehmer photogrammetrisch vermessen wird. 

7. Verfahren nach einem der Anspruche I bis 6, dadurch gekennzeichnet, daB mindestens ein Teil der 
Bildaufnehmer farbselektiv ist und daB im Nahbereich eines farbselektiven Bildaufnehmers jeweils eine 
Farblichtquelle mit einer auf diesen Bildaufnehmer abgestimmten Lichtfarbe angebracht ist 

8. Verfahren nach einem der Anspruche 1 bis 6, dadurch gekennzeichnet daB mindestens ein Teil der 
Bildaufnehmer so geschaltet ist, daB jeweils nur ein Bildaufnehmer belichtet wird, wobei eine schaltbare 
LichtqueUe im Nahbereich des Bildaufnehmers eingeschaltet ist 

9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, daB mindestens ein Teil der Bildaufnehmer farbse- 
lektiv ist und daB die zugehdrigen schaltbaren Lichtquellen ein fur die farbselektiven Bildaufnehmer gut 
sichtbarei Licht besitzen. 
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